强化学习 · 第三章 · 专题动画

从一组方程
到一条最优策略

上一讲把“什么算好”折成了一行递归;这一讲把它原样塞进期望,长出一组能解的方程;再把“按策略平均”换成挑最好的动作,得到最优策略。

① 期望方程 ② 五台阶 ③ 备份图 ④ V/Q 互推 ⑤ 矩阵解 ⑥ 两状态 ⑦ 最优方程 ⑧ 决策图
上一讲的最后一行
Gt = rt + γGt+1
这行递归只说清“回报怎么拆”。
再对随机性取一次期望,它就是贝尔曼方程:
无穷多条轨迹,压成一组有限的线性方程。
无穷多条轨迹被压缩成一组方程 左侧五条长短不一的轨迹被箭头压进一个写着 V 等于 R 加 γPV 的方框,右侧注明每个状态一条、解一次全都有。 V = R + γPV 每个状态一条 解一次,全都有
逐条轨迹去算无穷和 → 解一组有限方程,一次算完
符号沿用上一讲:π 策略(派)· P 转移 · R 奖励 · γ 折扣 · V / Q 状态价值与动作价值
03.1 · 贝尔曼期望方程

两层随机,一个递归

① 期望方程› ② 五台阶› ③ 备份图› ④ V/Q 互推› ⑤ 矩阵解› ⑥ 两状态› ⑦ 最优方程› ⑧ 决策图
Vπ(s) = 𝔼π[ Gt | st = s ] V 是上一节算出来的状态价值:它只回答一件事——站在 s 有多好,也就是之后一路按策略 π 走、平均能拿到的回报。
π
第一层随机:动作是抽出来的
在 s 上按 π(a|s) 掷骰子决定做哪个动作——这层随机来自智能体自己。
P
第二层随机:下一状态也是抽出来的
动作定了,落到哪个 s′ 还要按 P(s′|s,a) 掷骰子——这层随机来自环境。
两个 Σ外层 Σaπ(a|s) 按策略把各动作加权,内层 Σs′P(s′|s,a) 按转移把各下一状态加权——两层权重各自加起来都是 1。
期望方程Vπ(s) = Σaπ(a|s) [ R(s,a) + γ Σs′P(s′|s,a) Vπ(s′) ] 读法:对每个动作按 π 加权,括号里是“这一步的奖励,加上打了折的下一状态价值期望”。两个 Σ 就是那两层随机。
白话一个状态的价值 = 这一步能拿到的奖励 + 打了折的下一步价值,外面套两层“按概率平均”。
打个比方像估一份工作的年收入:先按“能拿到哪类岗位”的概率加权(π),每类岗位里再按“年终奖发不发”的概率加权(P)——两层骰子叠在一起。
03.2 · 把推导拆成五个台阶

三行变五个台阶:每一阶换一件工具

① 期望方程› ② 五台阶› ③ 备份图› ④ V/Q 互推› ⑤ 矩阵解› ⑥ 两状态› ⑦ 最优方程› ⑧ 决策图
贝尔曼期望方程的五个推导台阶 五阶依次使用回报定义、期望线性性、全期望公式对动作、全期望公式对状态、马尔可夫性,每阶都是等号,右侧注明这一步用到的工具与它换来了什么。 1 Vπ(s) = 𝔼π[ Gt | st = s ] 工具:回报定义 (等号,不是近似) 先把“价值”钉成回报的平均值,后面才有方程可写 2 = 𝔼π[ rt + γGt+1 | st = s ] 工具:回报递归 + 期望线性性 无穷和拆成“这一拍 + 以后”,否则项数无穷动不了 3 = Σaπ(a|s) R(s,a) + γ 𝔼π[ Gt+1 | s ] 工具:全期望公式 ①(对动作 a 平均) 把随机的一步奖励换成按动作查表的 R(s,a) 4 = Σaπ(a|s) { R(s,a) + γ Σs′P(s′|s,a) 𝔼π[ Gt+1 | st+1=s′ ] } 工具:全期望公式 ②(再对状态 s′ 平均) 把“落在哪”的概率提前收进括号,后面只在 V 上收网 5 = Σaπ(a|s) [ R(s,a) + γ Σs′P(s′|s,a) Vπ(s′) ] 工具:马尔可夫性 + 平移不变 认出括号里那截尾巴就是 V(s′),递归在此闭合
白话三行长成五个台阶:拆递归 → 拆奖励 → 拆将来 → 认出尾巴;五步全是等号,没有一步是“差不多”。
打个比方像把一笔钱分五道手续转进账户:每一道都换一个窗口(定义 / 线性性 / 全期望 / 全期望 / 马尔可夫性),少走一道,钱就停在半路。
03.3 · 备份图

一次“备份”:把后继的价值回填进来

① 期望方程› ② 五台阶› ③ 备份图› ④ V/Q 互推› ⑤ 矩阵解› ⑥ 两状态› ⑦ 最优方程› ⑧ 决策图
贝尔曼备份图 根是当前状态,第二层按策略分出动作,第三层按转移分出下一状态,叶子上的价值加权后回填到根。 × γ · 未来整块打折 s 当前状态 动作 a₁ π(a₁|s) = 0.5 动作 a₂ π(a₂|s) = 0.5 0.8 0.2 0.5 0.5 下一状态 s′ V(s′) 下一状态 s″ V(s″) 下一状态 s′ V(s′) 下一状态 s″ V(s″) 回填 V(s) 叶子按 π 加权、按 P 加权、乘 γ、加 R,回填成根的 V
拿两状态算例,真备份一次
V(s2) = 1 + 0.9 [ 0.5·V(s1) + 0.5·V(s2) ]
    = 1 + 0.9 × (0.5×6.2069 + 0.5×6.8966)
    = 1 + 0.9 × 6.5518
    = 6.8966 ← 又回到自己
不动点 把已经成立的 V 再备份一次,数值不动;方程要的正是这个点。
打个比方把孩子的各科成绩按学分折算成家长的预期总分——折一次,就是一个备份。
同一张图,三种展开深度 DP 全宽备份· MC 整条轨迹· TD 单步单样本 骨架一样,只是“展开多深、全枚举还是采样”不同。
03.4 · V 版与 Q 版

多写一层 π,就得到 Q 版

① 期望方程› ② 五台阶› ③ 备份图› ④ V/Q 互推› ⑤ 矩阵解› ⑥ 两状态› ⑦ 最优方程› ⑧ 决策图
V 版V:已定策略
Vπ(s) = Σaπ(a|s) [ R(s,a) + γ Σs′P(s′|s,a) Vπ(s′) ]
状态价值:动作已经被 π 平均掉,只剩一个数——站在 s 有多好。
把 Vπ(s′) 展开成 Σa′π(a′|s′)Qπ(s′,a′) 多写一层 π
Q 版Q:先做 a 再按策略
Qπ(s,a) = R(s,a) + γ Σs′P(s′|s,a) Σa′π(a′|s′) Qπ(s′,a′)
动作价值:先做定动作 a,拿到本步奖励;到了 s′ 之后才按 π 挑动作。
辨一句话分清
V已定策略:进门就按 π 走
Q先做 a,再按策略走
比打个比方
V 像问“这套房子平均能收多少租金”;Q 像“先定租给甲还是乙,再算平均收益”。
用为什么工程上偏爱 Q
拿到 Q,改进策略只要取最大,连模型 P 和 R 都不必问。
去向 SARSA按 π 采样一条转移去做备份 · Q-Learning把内层 π 换成 max · 下一步要讲的“最优方程”就是这一步替换
03.5 · 矩阵形式与闭式解

一组线性方程:移项、求逆、解完

① 期望方程› ② 五台阶› ③ 备份图› ④ V/Q 互推› ⑤ 矩阵解› ⑥ 两状态› ⑦ 最优方程› ⑧ 决策图
1状态价值定义
V(s) = 𝔼[ Gt | St = s ]
›
2回报拆成递归
Gt = rt + γGt+1
›
3期望分两层
Σaπ(a|s) → Σs′P(s′|s,a)
›
4n 个状态排一起
Vπ = Rπ + γPπVπ
向量形式Vπ = Rπ + γPπVπ Rπ 是按 π 平均出来的奖励;PπV 就是对下一状态按 P 求和,正好一次矩阵乘向量。
移项(I − γPπ) Vπ = Rπ 把 V 从右边搬到左边、合并同类项;I 是单位矩阵,左边于是只含已知量。
闭式解Vπ = (I − γPπ)−1 Rπ 两边同乘逆矩阵:先求逆、再乘 Rπ,一步算完,不必迭代。
两状态算例:逐格看 I − γPπ
两状态算例的矩阵方程:I 减 γP 乘 V 等于 R 左边的矩阵是 I 减 γP,行是从哪个状态出发,列是落到哪个状态;四个元素为 1.00、负 0.90、负 0.45、0.55;中间乘状态价值向量;右边等于 0 和 1 组成的奖励向量。 1.00 −0.90 −0.45 0.55 V(s₁) V(s₂) = 0 1 γ = 0.9;行 = 从哪出发,列 = 落到哪;Pπ = 按 π 平均的转移(本例只有 a1);右列 = Rπ
格子 (i,j) =(i=j 时记 1,否则记 0)− γ × Pπ(sj|si)
(1,1)s1 → s1Pπ = 01 − 0.9×0 = 1.00
(1,2)s1 → s2Pπ = 10 − 0.9×1 = −0.90
(2,1)s2 → s1Pπ = 0.50 − 0.9×0.5 = −0.45
(2,2)s2 → s2Pπ = 0.51 − 0.9×0.5 = 0.55
(2,1) 的 0.5:在 s2 执行 a1 后落到 s1 的概率;(2,2) 的 0.5 是同一动作留在 s2。
det = 1.00×0.55 − (−0.90)(−0.45) = 0.55 − 0.405 = 0.145 ≠ 0 ⇒ 可逆。
1
det ≠ 0 ⇒ 一定可逆
两条方程平行,det 才会是 0;γ < 1 保证 ‖γPπ‖ < 1,所以永不平行。本例 γ = 1 时 det 恰好为 0。
2
代回去:左右确实相等
1.00×6.2069 − 0.90×6.8966 = 0
−0.45×6.2069 + 0.55×6.8966 = 1.00
3
直接解 vs 值迭代
求逆 O(n³):一次算完,但要全模型;值迭代每轮 O(n²):几十上百轮,只需会算 P、R。状态少解方程,状态多就迭代。
为什么 γ 是关键 (I − γPπ)−1 = I + γP + γ²P² + ⋯ 第 k 项 = k 步转移概率 × γk:折扣让远项越来越轻,这一串才收得住。
03.6 · 两状态 MDP 全流程(上)

列式 → 消元 → 矩阵:三条路指向同一个数

① 期望方程› ② 五台阶› ③ 备份图› ④ V/Q 互推› ⑤ 矩阵解› ⑥ 两状态› ⑦ 最优方程› ⑧ 决策图
两状态 MDP 的转移结构 s1 奖励为零,做 a1 必然转到 s2;s2 奖励为一,做 a1 后各一半概率留在 s2 或回到 s1。 s₁ 奖励 r = 0 s₂ 奖励 r = 1 a₁ · 概率 1 · 奖励 0 a₁ · 概率 0.5 · 奖励 1 0.5 留原地 S = {s₁, s₂} A = {a₁} γ = 0.9
① 列方程(每个状态一条)
V(s₁) = 0.9 · V(s₂)
V(s₂) = 1 + 0.9 [ 0.5 V(s₁) + 0.5 V(s₂) ]
0.9折扣 γ:两行里的 0.9 都是它(题给 γ = 0.9)
1s2 的即时奖励 R(s2,a1):在 s2 做一步就拿 1
0.5回 s1 的转移概率 P(s1|s2,a1):做 a1 有一半回到 s1
0.5留 s2 的转移概率 P(s2|s2,a1):另一半留在原地
第一行其实还藏着两个数,被省掉了:奖励 R(s1,a1) = 0、转移概率 P(s2|s1,a1) = 1(s1 只有一条出路)。两行都不写 π:全片只有 a1 一个动作,π(a1|s) = 1,加权平均退化成乘 1。
② 代入消元:把 V(s₁) 塞进第二式
V(s₂) = 1 + 0.45 V(s₁) + 0.45 V(s₂)
0.55 V(s₂) − 0.45 × 0.9 V(s₂) = 1
0.55 − 0.405 = 0.145
0.145 V(s₂) = 1 → V(s₂) = 200/29 ≈ 6.8966
回代:V(s₁) = 0.9 × 6.8966 = 180/29 ≈ 6.2069
③ 矩阵视角:同一个 0.145
I − γP = [ 1, −0.9 ; −0.45, 0.55 ]
det = 1×0.55 − 0.405 = 0.145
逆 = (1/0.145)[ 0.55, 0.9 ; 0.45, 1 ]
V = 逆 × [0, 1] = [ 6.2069, 6.8966 ]
诺伊曼级数对得上 V = R + γPR + γ²P²R + ⋯ 前几项部分和 = 0 → [0, 1] → [0.9, 1.45] → [1.305, 2.058],正好是值迭代的前几轮——闭式解与迭代解在这里接上了。
03.7 · 两状态 MDP 全流程(下)

不解方程,反复备份也能到

① 期望方程› ② 五台阶› ③ 备份图› ④ V/Q 互推› ⑤ 矩阵解› ⑥ 两状态› ⑦ 最优方程› ⑧ 决策图
④ 值迭代逐轮表(V0 全取 0)
代入式 Vk+1(s) = R(s) + γ Σs′ P(s′|s)·Vk(s′)
kV(s₁)V(s₂)相邻差
00.00000.0000—
10.00001.00001.0
20.90001.45000.90
31.30502.05750.61
41.85182.51310.55
52.26182.96420.45
103.88254.57200.26
205.39646.08600.090
406.10846.79800.011
636.19826.88789.7e-4
846.20596.89561.1e-4
∞6.20696.89660
判据:相邻差 < 1e-3 在第 63 轮达成;真误差 < 1e-3 要到第 84 轮。差的那 21 轮,正是 γ/(1−γ) = 9 倍要付的账。
⑤ 手算前两轮:右边只代上一轮的数
k=0V0(s1) = 0 V0(s2) = 0 ← 初值全取 0
k=1V1(s1) = 0 + 0.9 × V0(s2) = 0 + 0.9 × 0 = 0 ← 借到的还是 0
V1(s2) = 1 + 0.9 × (0.5×0 + 0.5×0) = 1 ← 后继全 0,只剩奖励
k=2V2(s1) = 0 + 0.9 × V1(s2) = 0 + 0.9 × 1 = 0.9 ← 借到 1,折成 0.9
V2(s2) = 1 + 0.9 × (0.5×0 + 0.5×1) = 1.45 ← 平均 0.5,折成 0.45
⑥ 一次备份的手算(从第 63 轮再算一步)
取:V(s₁) = 6.1982,V(s₂) = 6.8878
平均:0.5×6.1982 + 0.5×6.8878 = 6.5430
乘 γ 加 R:1 + 0.9 × 6.5430 = 6.8887
只挪了 0.0009,离真值还差 0.0088
解法做法什么时候用
直接解求 (I − γP)−1R,一次算完(det = 0.145)状态少,要精确值
迭代解反复备份,63 轮够用、84 轮到真值状态多,可接受近似
采样解用轨迹样本平均代替期望没有模型 P、R
三条路,同一个方程 直接解、迭代解、采样解算的是同一个 (I − γP)V = R;区别只在“用不用模型、要不要精确”。 6.2069 / 6.8966
03.8 · 贝尔曼最优方程

把“按 π 平均”换成“对 a 取最大”

① 期望方程› ② 五台阶› ③ 备份图› ④ V/Q 互推› ⑤ 矩阵解› ⑥ 两状态› ⑦ 最优方程› ⑧ 决策图
V* 版V*(s) = maxa [ R(s,a) + γ Σs′P(s′|s,a) V*(s′) ] 读法:在 s 上挑“当前奖励 + 未来价值期望”最大的那个动作;这个 max 挑的是 a。
Q* 版Q*(s,a) = R(s,a) + γ Σs′P(s′|s,a) maxa′ Q*(s′,a′) 读法:动作已定,只剩环境这一层期望;max 挑的是 s′ 上要做的 a′,两者别混。
同一个状态上,按策略加权与取最大值的对比 三个动作的 Q 值分别是 1.20、0.50、负 0.30;按策略加权得 0.69,取最大得 1.20,差距 0.51。 a₁ 充电 a₂ 待机 a₃ 放电 1.20 0.50 −0.30 V = ΣπQ = 0.69 V* = max Q = 1.20 +0.51 0.5×1.20 + 0.3×0.50 + 0.2×(−0.30) = 0.69
1第一拍:在 s 上选动作
此刻只知道 s,不知道会落到哪——所以这一拍是 maxa(最优版)或 Σaπ(期望版)。
2第二拍:环境掷骰子
动作定了,落到 s′ 仍按 P(s′|s,a) 随机——这一拍是转移求和,谁也不能替环境决定。
3第三拍:到了 s′ 再决定
这才是 Q* 里那个 maxa′;顺序反了就是把“后果”当“前提”,等于算命。
max 也压缩 |max f − max g| ≤ max |f − g| max 不放大差距,每轮差距照样按 γ 缩:值迭代一定收敛;但它不保证最优动作唯一。
03.9 · 该用哪种解法

两个问题,四个出口

① 期望方程› ② 五台阶› ③ 备份图› ④ V/Q 互推› ⑤ 矩阵解› ⑥ 两状态› ⑦ 最优方程› ⑧ 决策图
求解路径决策图 先问有没有模型:有模型再问状态规模,少则直接解矩阵,多则用值迭代或策略迭代;没有模型再问能否在线交互,能则用时序差分,不能则用蒙特卡洛。 要解一条 MDP:n 个状态 有模型:P、R 已知 问下一步:状态多不多 无模型:只能采样 问下一步:能不能在线交互 状态少 直接解 求 (I−γP)⁻¹R,一次算完 O(n³),要精确值 状态多 迭代解 值迭代 / 策略迭代 O(n²) 每轮 能在线交互 时序差分 SARSA / Q-Learning 单步就能更新 只能整局跑完 蒙特卡洛 整条轨迹取平均 无偏,但方差大 两个问题:有没有模型(决定能不能算期望)→ 状态多不多 / 能不能交互(决定该解方程还是该采样) 共同前提:γ < 1,所以四条路最终都指向同一个 Vπ 或 V*
容易混的地方“可逆”只保证方程有解,不代表该去求逆:n 上万时,求逆的代价比迭代高好几个量级;“能算”和“该算”是两回事。
03.10 · 两组方程的分工

一个评价,一个求最优

① 期望方程› ② 五台阶› ③ 备份图› ④ V/Q 互推› ⑤ 矩阵解› ⑥ 两状态› ⑦ 最优方程› ⑧ 决策图
对比项贝尔曼期望方程贝尔曼最优方程
前提策略 π 已给定不需要策略,直接求最优
动作处理按 π(a|s) 加权平均对 a 取 max
算子性质线性(仿射),可写成矩阵求逆非线性(含 max),只能迭代
解的含义Vπ:这套策略值多少V*:所有策略中的上界
典型算法策略评估 · TD 预测值迭代 · Q-Learning
1
期望方程 = 把回报递归塞进期望
每个状态一条方程:V = Σπ [ R + γ ΣP V ],两个 Σ 分别来自策略与环境。
2
两状态算例 = 三条路会合在同一个数
消元、求逆、值迭代都指向 6.2069 / 6.8966;值迭代第 84 轮才把真误差压到 1e-3。
3
最优方程 = 把期望换成 max
解出 Q* 再贪心一次就得到最优策略;max 必须留在期望之后。
递归 → 期望方程 → 解与迭代 → 最优方程 → 最优策略
一行递归长出一整套理论;下一章,从方程到算法:策略迭代与值迭代
片尾 · 出品说明
朝露记
强化学习 · 第三章 · 专题动画
朝露记出品
内容梳理 讲解配音 动画编排
第三章 · 完 下一章 · 从方程到算法:策略迭代与值迭代
解
00:00 / 19:33
空格 播放/暂停 ← → 切幕 R 重播 1–9 跳转